非对称跨 LLM 上下文迁移：KV 缓存跨模型复用
🧭 LLM 异构部署 · KV cache 跨模型迁移
Tsinghua University, Beijing, China
提出 ACCT，将源模型 KV 稀疏转换为目标模型可直接消费的状态，削减 75% KV 仍匹配原性能
📌 工作参考价值（4 点）
- 在电商多模型/Agent 路由中，可以把共享长上下文（会话历史、商品详情、检索文档）先由低成本源模型做 prefill，再由同 family 的大目标模型复用其 KV，省掉重复 prefill，适合动态路由频繁切换模型的在线服务。
- 借鉴 Cartographer 的 query-relevant 稀疏化：对每层每个 KV head 分别选择与当前 query 相关的 context token，比全局 Top-K 更精细；推荐系统里长用户行为序列或多模态商品上下文也可以按 query/候选 item 做非对称稀疏化，而不是固定截断。
- Allocator 的“全局 KV 预算下逐层/逐 head 分配”思路可用于模型服务：给深层/浅层或不同 attention head 分配不同的缓存 token 数，在 latency/cost 约束下最大化长上下文任务效果。
- 工程实现上，Compiler 把不同 hidden size 的源 KV 映射到目标模型，意味着上下文计算与最终推理可解耦，适合 Agent 系统里同一上下文被多个异构模型消费的架构，能简化上下文缓存服务。
当 KV Cache 慢于 GPU：面向上下文并行预填充扩展远程 KV 层
🧭 LLM serving · 远程 KV 层性能优化
Multiverse Computing
用成本模型解释远程 KV 命中何时不如重算，并通过分片、按 rank 分区和异步加载把 p99 从 83.32s 降至 0.67s
📌 工作参考价值（4 点）
- 部署远程 KV cache 前先用成本模型估算：带宽需超过 sR（本例 2.53 GB/s），且存在固定 per-hit 开销 T0≈0.33s，短于 ~17k token 的 prompt 命中根本不如 recompute；电商/Agent 的 long-context 服务中可用于决定启用远程缓存的阈值。
- 远程 KV 层按 PCP rank 分片、一个 server per rank 无协调，能将 GET 带宽提升 6.3 倍；可复用该思路给多卡并行推理服务，避免所有 rank 读写同一实例导致瓶颈。
- 将远程 KV 加载改为异步，能避免同步加载造成 GPU 空转、队列不稳；实测 p99 从 83.32s 降到 0.67s，对实时推荐/搜索的 LLM 在线服务很有参考价值。
- 修复客户端 bug 对稳定性影响大；如果接入 LMCache 等库，注意 unbounded stall 问题，及时同步 upstream 补丁。
AI 的真实长期记忆：5000 万 token 窗口，比重算更快更省
🧭 LLM 推理 · KV 卸载长期记忆 ★ 深度解读
Corbenic AI
将 KV state 加密落盘并按需恢复，实现 50M token 零重算长期记忆，恢复比重算快 2.8–4.3 倍、省 8.8–12.3 倍 GPU 能耗
📌 工作参考价值（4 点）
- 在电商/广告/推荐 Agent 中，若大量 prompt 反复包含同一用户历史、商品序列或政策知识，可把已处理 prefix 的 KV 状态落盘复用，而不是每次 RAG re-read：单 block 恢复比重算快 2.8–4.3×，能耗降 8.8–12.3×，且 TTFT 不随历史深度增长，适合长 session 个性化。
- 对含敏感 PII 的长期用户记忆，可用 AES-256-GCM 加密 KV store 作为组织级 durable memory；字节精确恢复避免文本重读和潜在泄露，同时小模型/大模型共享同一存储，日常请求用小模型，复杂问题用大模型读取同一个 memory。
- 评测长期上下文时，采用盲摄入 + needle/decoys + negative control + 存储审计的防作弊协议，避免仅靠前缀缓存命中或 keyword match 假阳性；业务侧做 A/B 时可借鉴分离「状态恢复命中率」和「模型回答准确率」两个指标。
- 注意：方案依赖 local NVMe 和 sliding-window attention 的低 KV footprint（Gemma 4 12B 仅 36.4 KiB/token），对 full-attention 模型需评估存储成本；当前只做单块 restore，不扩大单次 attention 窗口，也不做 learned retrieval。
绕过计算上限：Galahad 字节精确记忆使 LLM 阅读成为一次性成本
🧭 LLM 推理优化 · KV cache 复用
Corbenic AI
Galahad 为 vLLM/SGLang/llama.cpp 提供字节精确 KV 记忆层，将重复文档阅读变成一次性成本
📌 工作参考价值（4 点）
- 搜广推场景中大量 prompt 前缀重复（商品描述、用户历史、知识库、广告素材），可对固定上下文离线预计算 KV 并持久化，在线按需加载，避免每次重算；字节精确匹配 + fail-closed 机制保证缓存不会改变答案，适合线上一致性要求高的场景。
- 对长上下文任务（如用户长期行为序列、商品详情问答），可结合检索式片段注入：Blaise 只把必要片段送入模型，比全量投喂或纯 RAG 更省 token、更准；实验里 100/100 vs 调优 RAGFlow 的 77/100。
- 工程实现上，分段缓存与恢复要校验 bit-identical，避免因缓存错误影响线上 A/B 或模型输出；如果加载校验不过则回退重算，可作为推理网关的通用设计。
- 成本收益可量化：缓存构建的能耗在少量请求后即可收回，适合高频重复查询的电商知识库、活动规则问答、客服机器人等场景。
LeapQuant：线性注意力循环状态的近无损量化与高效推理
🧭 线性注意力状态量化 · 推理加速 ★ 深度解读
UC Berkeley · University of Washington · MIT · Perplexity AI · NVIDIA
通过 per-window 量化与 Compensator Tokens 实现 GDN/KDA 状态 8-bit 近无损，端到端加速 1.47×
📌 工作参考价值（4 点）
- 长序列用户行为模型的状态压缩：电商/推荐中常用线性注意力或 SSM 建模用户长序列行为，其 recurrent state 是显存带宽瓶颈。可直接借鉴 per-window 量化：窗口内保持低比特边界状态 + 高精度 buffer 更新，仅在窗口边界重建量化，避免逐 token 误差累积；p=16、INT8 的配置可直接实验。
- 用低秩补偿 token 处理状态 outlier：用户序列或 LLM agent 长轨迹的状态矩阵常有少数行/列异常值，直接量化会放大误差。可以学 Compensator Tokens：拟合 r=4 的 FP16 低秩成分保留高精度，残差做 channel-wise smoothing 后再量化；对电商场景中的行为状态矩阵同样适用。
- 长上下文 LLM serving 显存优化：如果业务中部署 hybrid 线性注意力模型（如 Qwen3.5、Kimi、GLM 系列），对 recurrent state 做 8-bit 量化可降低 prefix caching 状态存储 41–56%，直接提升单卡并发；端到端吞吐提升 1.23–1.65×，在长 reasoning/Agent 任务里收益明显。
- 工程超参决策参考：窗口长度 p=16 是精度与 kernel 速度的甜点，过长会导致 buffer 读取增多、kernel 提速下降；Compensator Token 数量 r=4 精度饱和，r 超过 8 会暴露计算开销。这些经验可直接用于自研线性注意力推理内核的量化配置。
QuantMLA：面向 MLA 低比特 KV 缓存的功能对齐双路量化
🧭 MLA KV 缓存低比特量化与推理加速 ★ 深度解读
The University of Hong Kong · Meituan LongCat Team · South China University of Technology · Harbin Institute of Technology
针对 MLA 的 content 与 RoPE 双缓存，提出路径专属可离线融合变换与功能对齐目标，实现首个联合 INT4 缓存且精度损失极小
📌 工作参考价值（4 点）
- 部署 DeepSeek-V2/V3、Kimi、LongCat、GLM 等 MLA 架构模型做长上下文 RAG、Agent 记忆或搜索摘要时，可直接采用 content INT4 / RoPE INT4，甚至 content INT2 / RoPE INT4，并配合首 4 个 sink token 和最近 128 token 的 BF16 保护，获得 3.59× KV cache 压缩和 5.168× 吞吐提升，显著降低在线 serving 成本。
- 不要把 MLA 不同缓存一视同仁：同一 cache NMSE 下，RoPE 路径造成的注意力输出失真比 content 路径高 1.94–6.86 倍。如果预算有限或需要先做部分量化，应优先保留 RoPE key cache 更高精度，content cache 可以更激进压缩。
- 量化训练时不要只用 cache reconstruction MSE：可借鉴其功能对齐思路——content 路径用 attention-output reconstruction，RoPE 路径用 positional QK reconstruction；学到的 rotation/scale 可以完全融合进权重，online 无额外变换开销。
- Sink/recent BF16 保护是低成本 trick：在统一 softmax 下按 token 选择 BF16 或 INT4，能有效保持长上下文检索和推理能力，同时减少 preemption，适合直接复用到生产 serving 策略。
风险受控的 KV Cache 淘汰：从内存预算到风险目标
🧭 LLM 推理 · KV cache 风险控制
Department of Artificial Intelligence, Korea University
将 KV cache 淘汰重新定义为部署风险控制，用事后认证选择保留策略并按需回退全 KV
📌 工作参考价值（4 点）
- 在电商/广告线上长上下文 LLM 服务（商品详情问答、评论总结、Agent 长时记忆）中，用风险预算替代平均精度来选择 KV cache 压缩策略：按业务可容忍的退化概率（如 5%）和置信度进行校准，只上线被认证的策略，避免长尾请求质量事故。
- 引入全 KV fallback 机制：当校准集上没有任何压缩策略通过风险认证（例如高难度长上下文任务），自动回退到不压缩，保障最坏情况体验，可作为线上安全网。
- 离线评测时不要只看平均退化率，要报告有限样本认证的风险上界；对于固定内存预算方法，认证可能显示需要多保留 5-10 个百分点的 KV cache，帮助更稳健地设置内存配额。
- 该方法是 compressor-agnostic 的，可与任意 KV 淘汰算法结合，适合在现有推理加速框架上低成本包装为上线前认证流程。
重新思考面向子二次注意力的异构系统解聚
🧭 LLM 推理 · 子二次注意力异构解聚
Harvard University · NVIDIA
提出按二次/子二次注意力拆分 decode 的细粒度异构解聚方案，显著提升子二次注意力 LLM 的吞吐与能效
📌 工作参考价值（4 点）
- 若业务中采用线性/稀疏/滑动窗口等子二次注意力 LLM 做在线推理（如 query 理解、生成式推荐、Agent 工具调用），可将 KV 检索类算子（如 top-k 选择）部署在 DRAM 带宽大的 LPX 类设备，将静态内存的注意力+FFN 部署在 SRAM 算力设备，降低跨设备通信并提升 tokens/J。
- 稀疏注意力 decode 可拆成两阶段：top-k 选择需要扫描全量 KV，但计算轻；top-k 注意力+FFN 内存占用固定。这一特性可指导推理系统的流水线设计，避免将 KV 索引放在算力型 GPU 上造成内存瓶颈。
- 系统解聚不应按 attention/FFN 操作类型，而应按算数强度与内存占用拆分；对于混合注意力架构（部分层 dense，部分层子二次），可把 dense 层放在 GPU、子二次层放在低功耗设备，实现能耗与延迟的更好折中。
- 论文主要是底层系统优化，与推荐/广告算法逻辑无直接关系，可借鉴点主要在工程部署和硬件选型。
LOCUS：任务感知低秩后训练实现高效 token 语言生成
🧭 低秩后训练控制 LLM 输出 token 成本
University of Washington
冻结主干，在任务相关低秩子空间内做偏好优化，仅更新0.24-0.28%参数即可显著降低输出长度
📌 工作参考价值（4 点）
- 在电商/广告/Agent 场景中，LLM 生成商品文案、推荐解释、客服回复或搜索词时，输出长度直接决定推理成本与首字延迟。LOCUS 提示可以不在全参上做偏好对齐，而是冻结基座，用低秩适配器训练“简洁但保持有用”的偏好，参数更新量极小，便于线上灰度、热切换和快速回滚。
- 将输出 token 成本显式建模为约束优化：在 utility 约束下最小化长度。业务上可借鉴为“在转化率/相关性不显著下降的前提下，最小化生成 token 数”，用带长度惩罚或约束的 DPO 目标训练，避免模型学到“长回复=高偏好”的 verbosity bias。
- 任务感知的低秩子空间选择可以迁移为场景化适配器：不同业务（广告标题、搜索建议、Agent 任务规划）用不同低秩 subspace，分别控制生成长度，既保持各场景特有偏好，又避免冗长输出。
- 工程收益：论文显示仅更新约 0.25% 参数即可获得长度显著下降，这对需要频繁迭代偏好模型的多租户推荐/广告系统尤其有价值，可以大幅降低存储、训练和部署成本。
py-kvcache：vLLM 外部 KV 缓存的 NVMe 性能表征
🧭 LLM 推理 · KV cache 卸载优化
Vrije Universiteit Amsterdam · IBM Research Zurich
刻画外部 KV 缓存加载与重算的权衡，提出异步直接 I/O、有界 staging、调度感知预取，80k tokens 磁盘加载比 LMCache 快 2 倍
📌 工作参考价值（3 点）
- 在长上下文 LLM 服务（如 Agent 多步推理、长 prompt 推荐解释）中开启外部 KV cache 前，先用生产 trace 做 break-even 分析：H100 等强 GPU 上短前缀重算可能比磁盘加载更快，外部缓存应作为按场景开启的准入策略，而非全局默认。
- 缓存层设计要关注传输粒度与调度时序，而非只盯 NVMe 带宽：连续块传输 + 异步直接 I/O 绕过页缓存，并限制共享 staging buffer，避免挤占 GPU/CPU 内存；请求排队时就启动预读，让磁盘 I/O 与 prefill 计算重叠，可显著降低 TTFT。
- 对多轮对话和前缀链不规则场景，py-kvcache 的调度感知预加载有明确收益；若业务里 prompt 前缀复用度高（如推荐 agent 的固定 system prompt、RAG 检索后的公共上下文），可以在 CPU/NVMe 层缓存 KV，但需评估前缀长度分布和 GPU 算力后决定。
LLM 缓存淘汰策略选择：跨工作负载、容量与编码器的系统研究
🧭 LLM 语义缓存淘汰策略评估
University of Michigan
系统比较多种语义缓存淘汰策略，发现 LFU 为最强简单默认，且需先验证答案有效性
📌 工作参考价值（4 点）
- 在业务中部署 LLM 语义缓存时，淘汰策略无需复杂化：LFU 在 18 种设置下几乎总是最优或接近最优，实现简单且省资源；避免引入几何感知复杂策略，因为精确查找下新插入条目在命中半径内无邻居，难以获得额外信号。
- 缓存命中质量是更大的风险：在典型阈值下，原始命中率 51–60% 中只有 2.1–3.9% 的命中答案可替代，质量调整后命中率仅 1.1–2.2%。上线前必须用 LLM-as-judge 或人工审计验证缓存命中的可替代性，不能只看 embedding 距离。
- 阈值需按编码器单独标定：跨编码器研究显示阈值不可迁移；更换 embedding 模型后必须重新设定距离阈值，否则可能缓存大量无效响应。
- 对于小容量缓存，使用精确搜索（如暴力扫描）而非 ANN，以保留准确的邻居结构用于淘汰决策；同时关注 LFU 与 FIFO 在紧容量下的差异可达 8 个百分点，容量越紧越应该选简单有效的 LFU。
DeaMoE：面向小批量快速解码的高效 MoE 结构
🧭 高效 MoE 解码架构 · 小批量推理 ★ 深度解读
University of Science and Technology of China · Institute of Artificial Intelligence, Hefei Comprehensive National Science Center · Shanxi University
DeaMoE 将专家分组为部门，共享大部分参数并设计两级路由，在小批量解码下降低专家权重加载，实现最高 2 倍加速
📌 工作参考价值（4 点）
- 若业务用 DeepSeek-V3/Qwen3 等大 MoE 做实时 query 改写、广告文案生成或 Agent tool call，小批量延迟不达标时，可考虑 DeaMoE 式重组：把 256/384 个 experts 分成 8/16 个 departments，共享 FFN 主矩阵，每个 expert 只保留 [hffn, hffn] 私有矩阵；在总参数和 FLOPs 不变的前提下，A40 上可获得 1.3–2.0× TPOT 加速。
- 改造时用 group-limited top-k 软约束控制每个 token 激活的 department 数，不要强制覆盖 kdept 个 department；ablation 显示 strict coverage 会扰动路由偏好并提高 loss，软约束下平均激活 3.95/4 个 department 已足够。
- 私有 expert 矩阵用 torch.nn.init.eye 做 identity 初始化，而不是随机初始化；在 factorized 结构下可显著降低预训练 loss（2.504 vs 2.530），避免随机初始化扭曲共享 backbone 表示。
- 工程实现可沿用 vLLM Grouped GEMM primitives，只改 token indexing 支持 hierarchical routing；注意收益与 expert 大小和 GPU 带宽强相关，H100 上小 expert 模型可能回退，优先用于大 expert MoE 和带宽受限硬件。
面向混合 RL 推理负载的 KV 缓存感知准入调度
🧭 LLM RL 混合负载推理调度优化 ★ 深度解读
Nanjing University · StepFun
路由层依据工作负载类型与 KV block-time 需求动态控制 session 准入，避免 KV 缓存击穿，吞吐提升超 50%。
📌 工作参考价值（4 点）
- 在需要大规模 LLM 推理的业务（如商品问答、推荐理由生成、多轮 Agent 导购）中，可借鉴 MISA-T 的按工作负载类型分配 KV 保护额度：为短输入长输出的 RLVR 型、均衡 RLHF 型、长上下文多轮 Agent 型请求分别设定 session 准入上限，防止某个类型挤占缓存导致全局命中率崩塌。
- KV block-time 估算方法可直接复用：用 session 平均块数 × 类级驻留时间而非单纯 kv 块数衡量资源需求，尤其适用于含工具调用、等待外部 API 的 Agent 场景，能更准确地预留缓存空间。
- 自适应 overload 收缩机制可替代静态并发数调优：根据近端缓存命中率下降与等待队列长度自动下调准入上限，避免手动扫参；在模型、序列长度或混合比例变化时无需重新调节。
- 实验表明 KV offload 与路由层准入控制完全兼容（开启 CPU 备份后 GPU KV 利用率更高且吞吐提升 35.6%），对于采用分级缓存（HBM/CPU）的部署可直接叠加，无需改动调度逻辑。
ELDR：面向 PD 分离 MoE 推理的专家局部感知解码路由
🧭 LLM 推理 · 专家局部感知路由
KAIST · Microsoft Research · Shanghai Xingyunzhili Artificial Intelligence Institute
利用预填充专家激活模式路由请求，使解码 worker 加载更少的不同专家，降低 TPOT 5.9-13.9%
📌 工作参考价值（4 点）
- 若业务部署 MoE 模型（如 Mixtral）作为生成式推荐或对话引擎，可借鉴 ELDR 的 batch 调度思路：根据请求在 prefill 阶段激活的专家模式，将同类请求聚到同一 decode worker，减少每个 step 需加载的专家权重数量，降低 TPOT。
- 签名缓存与 KV 缓存联合索引的设计，可直接用于推荐系统长提示（如用户画像、历史行为缓存）场景，保持前缀命中时的专家签名一致性，避免重复计算。
- 平衡负载与专家局部性的“局部带路由”策略，可迁移至多 GPU 推荐模型推理，特别是参数量大的稀疏专家模块，通过离线聚类+在线轻载优先选择，兼顾吞吐与延迟。
- 整体工程实现基于 vLLM，适合快速集成到现有 LLM serving 管线，为推荐系统中的大模型推理提供低成本的延迟优化方案。
弥合语义缓存中的校准鸿沟
🧭 语义缓存校准与评估指标
New York University · Redis
指出语义缓存评估重排名轻校准导致部署性能差，提出缓存感知的校准指标P-CHR AUC与CRR
📌 工作参考价值（4 点）
- 语义缓存选型时，不要只看PR-AUC，应优先评估分数的校准度（如使用P-CHR AUC或CRR），否则线上高排名模型可能给出不可靠的阈值，导致过多误命中。
- 部署前做分数截断阈值扫描时，直接使用P-CHR AUC曲线观察不同缓存利用率下的精度，平衡成本与质量；CRR能快速估算离线排序指标有多少能迁移到线上。
- 校准差距主要由训练目标（如对比损失 vs. 交叉熵）决定，而不是数据规模，因此改进语义相似度模型的训练目标比堆数据更有效；已有模型可通过温度缩放、直方图分桶等后校准手段部分弥补，但不能完全消除差距。
- 设计缓存系统时，将缓存命中决策视为二元分类问题，显式考虑正样本率（查询重复率）带来的结构性上限，避免在低重复率场景下盲目追求高召回。
执行状态胶囊：面向低延迟设备端物理AI服务的图绑定检查点与恢复
🧭 图绑定执行状态复用 · 低延迟LLM推理
提出图绑定执行状态胶囊，将LLM推理复用从KV片段提升至全状态边界，实现亚毫秒级快照/恢复与27倍TTFT加速
📌 工作参考价值（4 点）
- 若业务中存在实时Agent交互（如对话式推荐），可借鉴胶囊机制实现亚毫秒级状态分支与回滚，降低用户感知延迟
- 在需要维护会话级推理状态（如探索式推荐对话）时，全量状态快照可确保回溯一致性，避免仅KV缓存导致的状态发散
- 边缘设备推荐场景可参考静态图 + 连续缓冲区的设计，消除动态块表开销，提升小批量推理的确定性延迟
- 工程上，若自研推理系统，可考虑将可恢复状态抽象为封闭缓冲集，以实现更高效的状态管理；但目前需深度CUDA集成，落地依赖未来框架支持
Vortex：面向AI Agent的高效可编程稀疏注意力服务系统
🧭 稀疏注意力服务系统 · AI Agent 自动化研究 ★ 深度解读
Carnegie Mellon University · Rice University · National University of Singapore
一个将稀疏注意力算法表达、部署与评估深度融合到LLM服务框架中的系统，使AI Agent可自动生成并迭代优化稀疏注意力，实现高达3.46倍吞吐提升且保持精度。
📌 工作参考价值（4 点）
- 可编程的稀疏注意力抽象（vFlow）：通过两阶段（缓存预处理与查询索引）的简单编程模型，快速实现各种动态稀疏模式，避免大量重写底层算子的工程开销，可直接借鉴到推荐模型中对长序列注意力的定制化改造。
- 兼容现有服务基础设施的vTensor抽象：原生支持分页KV cache、prefix caching等，确保理论加速转化为端到端吞吐提升，这种“不破坏现有栈”的设计思路可迁移到推荐系统大模型推理优化中，减少与生产环境的脱节。
- AI Agent 驱动的算法自动搜索与迭代：论文展示了AI代理利用Vortex一次性生成多样性稀疏算法并在长周期自主优化，形成精度-吞吐 Pareto 前沿，此类结合系统快速反馈的自动化调优流水线可应用于推荐模型的超参数搜索或结构优化。
- 随机化 radix top-k 的精度-速度权衡：通过随机早停降低 top-k 计算开销，可应用于推荐系统中高效召回或注意力选择阶段的 top-k 操作，在轻微精度损失下换取显著加速。